亚马逊AI惹众怒：一个没有意识的程序，竟然自己学会了“重男轻女”

乾明 郭一璞 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

亚马逊栽了个大跟头。

长期以来，这家电商巨头一直应用AI提升效率，但万万没想到的是，原本应该公平公正、没有意识的AI，也会“作死”了……

好的不学，非要学别人重男轻女、歧视女性。

而这个内部秘密，刚刚被路透社曝光于天下。

事件一出，掀起了轩然大波。

国外的网友们纷纷开始吐槽，讲述自己曾经经历过的不公平事件，以及奇葩的计算机系统等等。还有一堆网友开始分析问题原因。

亚马逊也喜提了一波嘲讽：

“可以说这个人工智能很成功，因为它模仿了亚马逊当前的招聘状态。”

一个戴有色眼镜的AI

筛简历是很多HR的核心工作之一，对于亚马逊这样的大公司来讲，不仅岗位多，投递同一个岗位的求职者可能也非常多，于是，无穷无尽的浏览简历就成了HR的日常。

而且，同一个岗位收到的简历里，总有一些达不到用人标准的、“文不对题”的简历，即使是适合的人，也会分出三六九等，有人很优秀，也有人比优秀的人更优秀。从求职者之中挑选最合适的人，也是让HR们头疼的一件事。

那能不能找一个AI，来自动帮HR们筛简历呢？

于是，作为一家电商公司，亚马逊把日常的用户给商品标星打分的功能，挪到了AI给求职者简历打分上。这样，HR们就可以美滋滋的说：“我，只看五星简历，AI快给我挑出来。”

2014年，这个项目就开始了，亚马逊的机器学习团队开始开发筛简历AI。

但是到2015年，亚马逊发现：糟了，这个AI不学好，学会了人类性别歧视那一套。

如果把投递“软件开发工程师”或者其他技术岗位的求职者简历扔给这个AI来打分，它就会给包含“女”这个关键词的简历打低星，而“男”则不受影响。

另外，如果简历上写着求职者毕业于某两所女子大学，这个AI也会给求职者降星。路透社的线人并没有说是哪两所学校。

人类能不能找到一份工作，竟然要看“AI的脸色”，作为女性求职者，凭什么让AI对我说三道四？在美国，这种涉嫌歧视的事情稍不注意就会招来一大波反对的声音，引发大负面。亚马逊赶紧修改这个AI，让它对“男”、“女”这些词保持中立。

但是，改是改不完的，今天教AI不要歧视女性，明天它会不会歧视黑人？后天它会不会歧视LGBT人群？大后天它会不会开地图炮？这些都说不准。

后来，亚马逊放弃了这个项目。

都是你们人类的锅！

一个好好的AI，怎么成长过程中就自动学会了性别歧视这种坏毛病？

这得看它是“吃”什么长大的，也就是用什么数据来训练的AI。

很不幸，锅还是得亚马逊自己来背，因为这个AI“吃”的都是亚马逊自家的招聘数据，来自亚马逊过去10年来收到的简历，依据这些简历，亚马逊的AI学会了挑出男性求职者。

男性本身就多？

这些数据有什么问题呢？路透社分析，可能是因为科技行业中的大部分技术岗位都是男性在做。

△ 美国知名科技公司全球员工性别比

△ 美国知名科技公司技术岗员工性别比

路透社整理了自2017年起这些公司公布的数据，从中可以看出，像谷歌、苹果、微软、Facebook这些公司，整体上男性占了2/3，而单独挑出技术岗位，男性比例则达到了将近4/5。

AI学会了人类的歧视

不过，数据量大小并不意味着少数数据就会被歧视，相信亚马逊的AI也不会傻到只选取简历数据中大多数人的共同特点，那样岂不是错过了少数天才？

在Hacker News和Reddit的评论区，一些更懂技术的网友把矛头对准了数据体现的亚马逊在招聘中现存的性别歧视问题。

从技术上讲，可以说这个人工智能是成功的，因为它模仿了亚马逊当前的招聘状态。

并给出了背后的逻辑。

机器学习过程不会引入任何偏差，但训练数据中存在的任何偏差都将在算法中忠实地展现出来。

也就是说，AI自己本身是一个天真无邪的“幼儿”，它不会自主的学会偏见和歧视，但如果给“幼儿”上课的“老师”亚马逊的招聘数据自身带了偏见，那么这些偏见就会“言传身教”给无辜的AI。

或者说，AI是从人类社会中，学会了人类的偏见和歧视。

我们不想让AI歧视女性，但这绝非易事，因为AI无法忽视它所学习的人类社会对女性的歧视。这绝对是一个难题，不仅仅是技术上的难题，更是哲学层面上的难题。

AI在无意中学会人类之恶，这并不是第一次发生。

此前的微软的聊天机器人Tay，就曾经学会了人类的那些极端言论，在Twitter上咒骂女权主义者和犹太人。

而招聘AI这一次，人类的错误让AI重蹈覆辙了。

“很显然，我们没有吸取微软Tay的任何教训。”有网友评论道。

这个AI靠抓关键词？

不只是训练数据的问题。路透社的报道中还披露了亚马逊训练AI的细节。

· 开发了500个针对特定工作职能及岗位的模型。

· 训练每个模型去识别过去求职者简历中出现的近5万个关键词。

· 模型算法按照重要程度给求职者的技能进行优先级排序。

所以这个AI，很大一部分工作是在抓关键词嘛。比如它偏好的“执行”、“抓取”这种词，在男性求职者的简历中出现次数更多，也从另一个维度造成了女性候选人的劣势。

因此，这也是导致性别歧视的一个原因。甚至，还可能会给人“钻空子”的机会。

Reddit上的一名网友评论称：

“亚马逊阅读简历的AI从一开始就注定了要失败，因为任何人都可以去学习怎样写好一份简历。让我写一份医生的简历，我打赌我会比真医生写的要好。”

想一想那些“简历写作技巧”的培训，是不是都告诉你HR看一份简历只要二三十秒，简历里有某些关键词、重要数据就能吸引HR的注意？

因此，这种抓关键词的机制，就得以让很多人通过强行往简历里塞关键词，而获得更高的星级，造成了另一种不公平。

AI招聘，道阻且长

根据招聘公司CareerBuilder 2017年在美国进行的一项调查，55%的人力资源经理表示，将会在未来五年中采用AI，并将其作为日常工作中的工具。

一些“激进”或者说有大量招聘需求的公司，已经将AI应用到招聘环节中去了。比如希尔顿酒店，就在招聘的时候，会先利用聊天机器人面试，并为求职者匹配合适的岗位，之后再进入下一轮面试。

在接受采访时，希尔顿招聘副主管Sarah Smart表示，“人工智能会分析求职者的语调、眼神和回答的表情，来判断求职者是否对工作富有热情，从而来帮助我们筛选求职者。”

具体体验怎么样呢？体验过聊天机器人面试官的Japser Rey说，“和聊天机器人对话时，我不用担心自己会分神，而且机器人不会戴有色眼镜看人，相对更公平公正一些。”

相对来说，大部分公司并没有将AI放到具体的招聘决策环节之中，只是作为一个辅助工具。

• 百度：将AI应用到了招聘上，在今年的校园招聘中，采用AI分析简历、推荐岗位。

• 高盛：开发了简历分析工具，会将求职者与“最适合”的部门进行匹配。

• LinkedIn：根据网站上发布的岗位消息，利用算法为雇主提供求职者的排名。

尽管人们对AI招聘并不十分待见，但却无法阻挡这样一个趋势：AI终将左右你找工作这件事。

它只会迟到，但不会缺席。

— 完 —

加入社群

量子位AI社群28群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号（QbitAI）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态